Validität

Misst unser Verfahren tatsächlich das Konstrukt, dass es messen soll?

Abzugrenzen von der Reliabilität, die aussagt wie genau wir das messen, was wir messen (unabhängig davon, ob wir das auch wirklich messen wollen).

Validität

Es gibt nur verschiedene Arten von Validität, nicht “die” Validität. Es geht also immer um die Validität der Interpretation der Testwerte, welcher unter bestimmten Bedingungen erhoben wurde.

Kriteriumsvalidität

Zusammenhang der Testscores mit anderen Variablen z.B.:

  • Erfolg im Beruf
  • Schulnoten

Konstruktvalidität

Wird das interessierende Merkmal gemessen?


Konvergente Validität

Dasselbe Merkmal, andere Methode

Diskriminante Validität

Anderes Merkmal, selbe oder andere Methode

Multitrait-Multimethod (MTMM) Ansatz

Korrelation zwischen Testscores für verschiedene Kombintationen:

  • Mono-Trait Hetero-Method
  • Hetero-Trait Mono-Method
  • Hetero-Trait Hetero-Method

Validität und IRT

Ideen:

  • Test-Scores (Theta-Werte, WLEs, PVs) können mit den oben besprochenen Kriterien korreliert werden.
  • MTMM-Modelle, z.B. auf Basis von Konfirmatorischer Faktorenanalyse schauen (siehe Eid et al. (2008)).

Literatur

Eid, M., Nussbeck, F. W., Geiser, C., Cole, D. A., Gollwitzer, M., & Lischetzke, T. (2008). Structural equation modeling of multitrait-multimethod data: different models for different types of methods. Psychological Methods, 13(3), 230.

Bildquellen